Zuma menceburi politik Kongres Kebangsaan Afrika pada tahun 1959. Dia aktif di Umkhonto kita Sizwe pada tahun 1962.Kemudian menyertai Parti Komunis Afrika Selatan pada 1963. Tahun 1963, dia ditangkap bersama 45 orang lain di Zeerust di barat Transvaal.Dia dihukum kerana bersekongkol menggulingkan kerajaan Aparteid yang dipimpin oleh minoriti kulit putih. Akibatnya dia dipenjara 10 tahunPulau Robben bersama Nelson Mandela dan pemimpin terkemuka ANC. Di dalam penjara, beliau menjadi pengadil bola sepak ketika di dalam penjara.

Setelah dibebaskan, beliau memaikan peranan dalam pembentukan-semula struktur bawah tanah ANC di wilayah Natal.

1975 dia meninggalkan Afrika Selatan dan bertemu Thabo Mbeki di Swaziland terus ke Mozambique dan bertemu dengan ribuan orang buangan ekoran pemberontakan Soweto .

Beliau menjadi ahli Jawatankuasa Eksekutif Kebangsaan ANC pada tahun 1977. Dia juga berkhidmat sebagai Timbalan Ketua Perwakilan ANC di Mozambique.[Zuma juga menandatangani Accord Nkomati antara Mozambique dan Afrika Selatan pada tahun 1984. Dia diangkat sebagai Ketua Perwakilan ANC.

Dia terpilih menjadi ahli politbiro SACP pada April 1989.

Zuma terpaksa meninggalkan Mozambique pada Januari 1987 setelah mendapat tekanan yang besar terhadap kerajaan Mozambique oleh rejim PW Botha. Dia pindah ke ANC Lusaka , Zambia dan bertugas sebagai Ketua Jabatan Perisikan.

Bulan Februari 1990, dia salah seorang pemimpin ANC pertama yang kembali ke Afrika Selatan untuk memulakan proses perundingan.

Pada tahun 1990, beliau dipilih sebagai Ketua ANC untuk wilayah Natal Selatan, dan mengambil peranan utama dalam memerangi keganasan politik di wilayah itu di antara ahli ANC dan Parti Kebebasan Inkatha (IFP). Beliau terpilih menjadi Timbalan Setiausaha Agung ANC . Januari 1994, dia dicalonkan sebagai calon ANC untuk kepimpinan dari KwaZulu Natal .

Parti IFP, dipimpin oleh Mangosuthu Buthelezi. ANC berusaha menamatkan keganasandan berusaha mendapatkan sokongan orang-orang Zulu .

Dia dilantik ke jawatankuasa Eksekutif Nasional ANC pada tahun 1977 ketika parti masih dalam gerakan pembebasan. Disember 1994, dia terpilih sebagai Ketua Nasional ANC dan ketua ANC di KwaZulu-Natal, dan dilantik semula ke kedudukan kedua pada tahun 1996. Dia terpilih sebagai Naib Presiden ANC pada Persidangan Kebangsaan yang diadakan di Mafikeng pada Disember 1997. Seterusnya dilantik Naib Presiden Afrika Selatan pada bulan Jun 1999.

dia juga pernah bekerja di Kampala , Uganda dalam proses perdamaian Burundi , bersama-sama dengan Presiden Uganda Yoweri Museveni .Puak bersenjata Hutu mengangkat senjata terhadap kerajaan dan tentera dikuasai oleh minoriti Tutsi pada 1993.

Presiden Afrika Selatan Thabo Mbeki mengenakan Zuma dengan tuduhan rasuah $ 5 bilion pada 1999. Naib Presiden Afrika Selatan yang baru ialah Mlambo-Ngcuka Phumzile , isteri Bulelani Ngcuka .